机器学习中的许多问题都可以表达为在措施空间上优化凸功能。本文研究了这种无限维度的镜子下降算法的收敛性。通过定向衍生物来定义布雷格曼的差异,我们得出了相对平滑且强烈凸成的功能对的方案的收敛。将我们的结果应用于联合分布和kullback-leibler(kl)差异,我们表明,在连续设置中,Sinkhorn的熵最佳传输的原始迭代对应于镜子下降,我们获得了其(sub)线性收敛的新证明。我们还表明,期望最大化(EM)始终可以正式写作作为镜下下降,并且在固定混合物时优化潜在分布时,我们得出了趋同的收敛速率。
translated by 谷歌翻译